ReSAIL: Mitigating Collapse in Iterative Agent Self-Distillation
ReSAIL：缓解迭代智能体自蒸馏性能崩溃
🧭 Agent 自蒸馏训练稳定化
Gaoling School of Artificial Intelligence, Renmin University of China
提出 ReSAIL 插件，通过选择特权信息影响大的步骤蒸馏并保持特权条件分布，平均提升 22.5% 成功率
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 的迭代自蒸馏训练中，若教师有特权信息（如用户真实意图、后续转化、库存），避免直接用线上部署轨迹蒸馏，可借鉴 ReSAIL：选择 PI 影响大的步骤蒸馏，并用教师 PI 条件输出作为正则，稳定多轮迭代。
- 离线数据选择可用 sensitivity 指标：计算 teacher 在有无 PI 下输出分布差异，筛选差异大的交互步骤，提升数据效率，减少无效样本。
- 工程实现上，在学生训练 loss 中加入与冻结 teacher 的 KL 散度（针对 PI 条件分布），即使部署时无 PI 也能保持隐式行为一致性，防止下一轮 teacher 退化。
- 对搜索推荐中的 query 改写/推荐解释 Agent，若使用 oracle 信息（点击/购买标签）自蒸馏，可沿用“保留特权行为”思想，避免多轮迭代后策略漂移。